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摘 要: 传统 的 给 阵 分 解 模型 无 法 充分 探索 用 户 与 物品 在 均值 、 偏 置 和 特征 之 间 的 内 在 联系 ， 提 出 拟 合 矩 阵 模 型 ， 
通过 构建 用 户 与 物品 矩阵 分 别 代 表 用 户 与 物品 特性 ， 提 高 预测 性 能 。 短 阵 分 解 模型 在 推荐 系统 领域 有 精度 优势 ， 但 
求解 模型 参数 最 常用 的 梯度 下 降 法 收敛 速度 缓慢 。 针 对 梯度 下 降 法 的 上 述 缺 陷 ， 考 虑 与 拟 牛 顿 法 进行 融合 ， 使 得 收 
伊 速度 加 快 。 提 出 的 算法 命名 为 拟 合 算 阵 与 两 阶 融合 迭代 加 速 推荐 算法 (fitting matrix and two orders fusion iterative， 
FAST)。 实 验 表明 ,FAST 算法 比 传统 的 非 负 和 矩阵 分 解 (NMF), 奇异 值 矩 阵 分 解 (SVD), 正则 化 奇异 值 矩 阵 分 解 (RSVD) 
在 平均 绝对 误差 (MAE) 与 均 方 根 误差 (RMSE) 上 有 下 降 ， 在 和 迭代 效率 上 有 显著 提高 ， 缓 解 了 精度 与 迭代 效率 难以 
平衡 的 问题 。 
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Accelerating recommendation algorithm using fitting matrix and two orders Fusion iterative 


= Wang Shuai, Sun Fuzhen, Wang Shaoqing, Zhang Jin, Fang Chun 
> (College of Computer Science & Technology, Shandong University of Technology, Zibo Shandong 255049, China) 


Abstract: The traditional matrix decomposition model can not fully explored the intrinsic relationship between the user and 
the object in the mean, bias and characteristics. This paper proposed a fitting matrix model to improve the prediction 
performance by constructing the user and the item matrix to represent the characteristics of the user and the item 
respectively. The matrix decomposition model had the advantage of accuracy in the field of recommender system, but the 
gradient descent method, which was the most popular method to train parameters of model, had a slow convergence speed. 
Considering the above defects, this paper considered to accelerate the convergence speed using the convergence of quasi 
Newton method. We named the proposed algorithm as fitting matrix and two orders fusion iterative (FAST) algorithm. The 
experimental results showed that the FAST algorithm was better than the traditional non negative matrix decomposition 
(NMF) , singular value matrix decomposition (SVD) , and the regularized singular value matrix decomposition (RSVD) . 
FAST algorithm had a decrease with regard to the mean absolute error (MAE) and the root mean square error (RMSE) , and 
had a significant improvement in the iterative efficiency, which alleviated the problem that the accuracy was difficult to 
balance with the efficiency of the iteration. 
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0 ”引言 题 ， 对 拟 牛顿 法 在 高 维和 矩阵 中 的 发 散 问 题 与 海 森 矩阵 的 逆 矩 

一 阵 的 计算 与 存储 问题 提出 一 种 有 效 的 改进 思路 。 然 而 这 种 结 

协同 过 滤 推 荐 技术 是 推荐 系统 中 应 用 最 早 和 最 为 成 功 的 。” 合 方 式 的 预测 精度 介 于 梯度 下 降 与 拟 牛 顿 法 之 间 ， 以 降低 部 

技术 之 一 。 奇 异 值 矩阵 分 解 《SVD) 是 用 于 协同 过 滤 的 常用 ”分 预测 精度 换取 二 者 的 有 效 结合 。 文献 [5] 也 提出 了 一 种 将 拟 

算法 之 一 。 而 直接 应 用 传统 的 奇异 值 矩阵 分 解 算法 协同 过 滤 ”牛顿 法 与 其 他 方法 结合 的 思路 ， 称 为 混合 人 工蜂 群 策 略 。 通 

可 能 导致 性 能 不 佳 。 因 而 需要 结合 推荐 系统 数据 稀 玻 性 的 特 。 ”过 统计 分 析 ， 所 提出 的 训练 策略 相 比 于 用 拟 牛 顿 法 训练 的 
征 提 出 行 之 有 效 


让 的 奇异 值 矩 阵 分 解 方法 中。 其 中 最 著名 的 就 DNN 分 类 器 具有 更 好 的 分 类 性 能 。 这 种 方法 适合 于 数据 稀 下 C 
是 正则 化 奇异 值 矩 阵 分 解 (RSVD)， 在 原 有 奇异 值 矩 阵 分 解 ”性 低 且 数据 特征 明显 的 数据 (如 图 像 识 别 )。 不 适用 于 数据 稀 
的 基础 上 加 入 正则 化 因子 和 偏 置 因子 ， 利 用 线性 回归 方法 让 ，” 玻 性 很 高 的 推荐 系统 领域 。 
正则 化 因子 与 偏 置 因子 产生 双向 交互 作用 ， 提 高 奇异 值 矩 阵 文献 [6~8] 中 的 模型 都 借鉴 了 传统 协同 过 滤 技 术 中 的 基 
分 解 的 预测 能 力 趾 。 不 同 于 奇异 值 算 阵 分解 SVD),， 协同 过 于 用 户 推荐 模型 , 而 这 类 模型 最 大 的 优势 是 不 需要 迭代 数据 ， 
滤 中 还 有 一 种 矩阵 分 解 的 方式 为 非 负 和 矩阵 分 解 (NMF)， 这 从 而 时 间 效 率 较 高 ， 但 是 与 具有 迭代 数据 的 模型 “例如 奇异 
种 方法 也 是 协同 过 滤 推 荐 系统 中 一 种 比较 流行 的 算法 之 一 值 矩 阵 分 解 ) 相 比 推荐 精度 稍 差 。 文 献 [910] 都 是 近年 来 流行 
Dl 的 基于 排序 学 习 模 型 , 最终 形成 toppN 推荐 列表 的 文章 , 这 类 
而 文献 [各 提出 将 梯度 下 降 与 拟 牛 顿 法 结合 , 采用 一 种 随 ” ”模型 优势 在 于 算法 复杂 度 低 ， 不 需要 人 为 设 定 超 参 数 。 但 是 
机 正则 化 (RES)〉 的 拟 牛 顿 法 用 于 求解 随机 函数 的 凸 优化 间 ”精度 相 比 协同 过 滤 中 具有 和 迭代 数据 的 模型 略 低 ， 而 且 难 以 进 
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行 扩展 。 

综 上 所 述 ， 为 提升 奇异 值 矩阵 分 解 的 训练 效率 ， 以 及 提 
高 预测 精度 ， 本 文 提 出 了 一 种 基于 拟 合 矩 阵 和 两 阶 融 合 和 迭代 
加 速 推荐 算法 。 


1 ”相关 概念 


1.1 SVD 在 推荐 系统 中 的 应 用 

奇异 值 分 解 是 将 一 个 mxn 的 矩阵 4， 通过 公式 4=UZYV: 
分 解 为 三 个 和 矩阵。 其 中 一 个 mxm 的 方 阵 ， 三 是 一 个 mxn 的 
奇异 值 矩 阵 ，V 是 一 个 nxn 的 方 阵 。U 与 V 的 元 素 均 是 正 交 
向 量 。 


于 奇异 值 分 解 中 的 矩阵 4 是 一 个 完整 矩阵 ， 而 推荐 系 
统 的 评分 矩阵 R 是 一 个 不 完整 矩阵 并 且 稀疏 。 导 致 推荐 系统 
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储 荐 算法 


遍 置 量 ，p; 代表 用 户 


的 特 和 


中 应 用 SVD 时 ， 不 能 直接 使 用 公式 R=VwZY-” 。 假 设 用 户 与 


扁 置 矩阵 C; 同样 也 是 维 的 矩阵 ， 初 始 化 


物品 之 间 没 有 直接 联系 ， 人 为 定义 特征 维度 r=f 。 用 户 与 物 
品 通过 与 了 的 联系 将 评分 矩阵 R 分 解 成 为 两 个 特征 维度 矩阵 
U 与 V ,U 代表 用 户 特 征 ， 是 一 个 rxm 的 矩阵 ，m 代表 用 户 
数目 。V 代表 物品 特征 ， 是 一 个 "xn 的 矩阵 ，n 代表 物品 类 
目 。 最 终 通过 计算 Uv 与 Vy， 使 得 U'V 的 结果 越 接 近 R 越 好 。 
为 了 v"™ 的 结果 不 断 接近 R ， 梯 度 下 降 法 是 最 常用 的 求 
解 方法 。 梯 度 下 降 法 的 基本 原理 就 是 使 损失 函数 沿 梯度 下 降 
的 方向 通过 步 步 迭 代 接 近 极 小 值 。 迭 代 公式 如 下 ; 


6 
&-6-2557(8.9…6] (1) 
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中 ， -#6 代 表 负 梯度 方向 ，“ 代表 梯度 方向 的 搜索 步 长 
6 代表 参数 进行 迭代 计算 。 

1.2， 拟 牛顿 法 原理 

牛顿 法 的 基本 思想 是 ， 在 现 有 的 极 小 点 估计 值 的 附近 对 
目标 函数 做 二 阶 泰 勒 展开 式 ， 从 而 找到 极 小 点 的 下 一 个 估计 
值 。 假设 当前 的 极 小 点 佑 计 值 为 。 则 目标 函数 在 x 附近 的 
二 阶 泰勒 展开 式 为 


POF TY GR) VF) (eA) (2) 


其 中 Vf 为 f 的 梯度 向 量 ，V*f 为 f 的 海 森 矩阵 。 由 于 极 值 的 
必要 条 件 是 Vo()=0, 设 Vf 为 G,V*f 为 已 ， 则 牛顿 法 的 迭代 
公式 为 


X=X -Hr *G,. (3) 
牛顿 法 要 求 目标 函数 必须 有 连续 的 一 阶 和 二 阶 偏 导数 且 
海 森 和 矩阵 必须 正定 ， 而 牛顿 法 的 应 用 条 件 在 实际 情况 往往 是 
无 法 满足 的 。 拟 牛顿 法 是 在 牛顿 法 的 基础 上 进行 的 改进 。 拟 
牛顿 法 的 基本 思想 是 利用 一 阶 偏 导 数 求解 近似 海 森 矩阵 的 正 
定 对 称 阵 。 近 似 海 森 矩 阵 的 条 件 为 

Vo(x) VI (KA) + Hn * (KX — Xn) 

1.Gi —-G ~ Hen * (Xn — Xk) (4) 
2.Xt 一 灼 名 Hi * (Gi —G.) 


上 述 两 式 作 为 拟 牛 顿 法 的 近似 约束 条 件 ， 是 拟 牛 顿 法 


的 核心 。 
2 ”算法 结构 分 析 


2.1 拟 合 矩 阵 模型 
传统 的 推荐 系统 奇异 值 矩阵 分 解 模 型 预测 函数 为 


o(pi,q;)=u+tb +b;+ pq, (5) 


其中 4 代表 全 部 评分 数据 的 均值 ，b 代表 用 户 i 的 偏 置 量 ,%， 


1 TOI 


[ 
阵 5; 与 物品 
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向 量 ，4% 代 表 物品 


时 ,传统 预测 函数 虽然 将 用 户 i 与 物品 j 分 成 两 个 
寺 征 矩阵 的 形式 表示 ， 但 是 特征 值 的 初始 化 是 随机 的 ， 而 且 
户 与 物品 自身 可 能 存在 的 对 特征 值 的 潜在 


合算 阵 模型 将 SVD 预测 公式 中 的 整体 均 
前 用 户 均 值 与 当前 物品 均 
有 户 与 当前 物品 的 个 性 化 表 
用 户 的 均值 矩阵 M, 为 k 维 
住 。 初 始 化 M 与 Wi 
。 用 户 特 征 入 
化 随机 生成 。 


值 的 融合 ， 这 样 更 


， 物 品 j 的 均值 矩 
数据 集 计算 得 到 标量 4 与 
FE 矩阵 2 也 是 


2 的 偏 置 矩 阵 C 与 物品 7 的 


标量 4b 与 5; 均 分 


让 均值 矩阵 ( M, 与 W ) 和 特征 矩阵 
合 ， 引 入 拟 合 和 矩阵 模型 ， 为 用 户 :与 
户 和 矩阵 X; 与 物品 矩阵 ， 以 大 维和 矩阵 形式 
;由 用 户 i 的 均值 矩阵 M; 、 


Cc, ) 融合 


物品 矩阵 由 物品 j 的 均值 算 


Xi =M,x(S,xC,) 


(5 与 2;) 以 


户 的 特征 和 矩 


矩阵 c 的 乘积 形式 见 式 (6)。 


(6) 


阵 Mj 与 物品 j 的 特征 算 


Y=M,x(Z,xC,) 


户 或 物品 矩阵 


遍 置 矩阵 C) 以 乘积 的 形式 表示 为 


(7) 


均值 矩阵 ( M; 或 M, ) ， 特 


(5; 或 Z; ) 与 偏 置 矩阵 ( G 或) ) 三 部 分 融合 而 成 ， 
E 拟 合 矩 阵 。 式 (6) 和 (7) 


的 计算 过 程 如 图 1 所 示 。 


ES; a 户 


偏 置 矩阵 C 


Cg 


Sik — x 二 1 


E 阵 M | 


户 和 矩阵 Xi 


mi1 da Mik 咖 Xx 一 | Xi,l 


E 阵 Z 物品 代 


AS 


和 
5k 六 汪 


x 
my | » 
x 


Mk ”| 


,1 


了 1 拟 合 和 矩阵 模型 


Fig.1 Fitting matrix model 


o(Xi,Y,)=(M,+M,)/2+b +b, + XY, 


2.2 ”两 阶 融 合 迭 代 加 速 模 型 
梯度 下 降 作为 一 阶 计算 的 处 至 


为 二 阶 计算 的 处 型 


于 求解 SVD 模型 的 参数 , 拟 4 
度 下 降 法 进行 计算 , 原因 主要 有 : 拟 牛 顿 法 的 学 习 效率 很 高 ， 


Ph 存在 随机 正则 项 。 如 ， 


F 顿 法 并 不 


出 的 用 户 与 物品 的 能 够 在 一 定 程度 上 反映 用 户 与 物 
上 的 潜在 影响 。 新 的 预测 函数 如 式 (8)〉 所 示 。 


(8) 


方式 ， 而 拟 牛顿 法 作 
方式 ， 更 推荐 系 中 的 误差 函数 作为 目 
下 降 与 拟 牛 顿 法 并 存 ， 以 两 阶 偏 导数 融合 


能 完全 替代 梯 


合 训练 数据 ， 易 于 导致 过 拟 合 ; 


E 荐 系统 误差 函 


推荐 系统 误差 函数 为 
2 ub-b)— XIY,) +6(b + Xi)+6(b? +Y) (9) 


201812.00108v1 


chinaXiv 


录用 定稿 


其 于 以 上 原因 ， 本 文 提 出 将 梯度 下 降 法 与 拟 牛顿 法 融合 
进行 计算 的 思路 。 对 拟 牛 顿 法 的 步 长 计算 方式 进行 改进 ， 利 
用 拟 牛 顿 法 高 效 的 收敛 效率 对 预测 结果 与 实际 结果 偏差 较 小 
的 值 进行 收敛 ， 而 预测 结果 与 实际 结果 偏差 较 高 的 值 依然 使 
用 梯度 下 降 进 行 收敛 。 拟 牛顿 法 中 步 长 4 的 计算 方式 为 一 维 
搜索 ， 非 精确 一 维 搜索 由 于 存在 超 参数 而 梯度 下 降 中 已 存在 
超 参数 4 与 5， 而 算法 中 如 果 出 现 过 多 的 超 参数 就 会 失去 普 
适 性 的 意义 。 若 使 用 成 熟 的 一 阶 偏 导数 或 函数 自身 求解 极 小 
值 则 会 因 误差 函数 存在 随机 正则 项 从 而 使 求解 过 程 失去 实际 
意义 。 


此 ， 对 于 步 长 4 的 计算 方式 ， 通 过 观察 误差 函数 的 形 
式 为 完全 的 二 次 肾 函 数 ， 因 此 利用 二 阶 导 数 计算 最 终 的 步 长 
4 成 为 可 能 。 由 数学 定义 可 知 ， 二 阶 导 数 定义 是 函数 的 拐点 
定义 。 而 推荐 系统 误差 函数 可 满足 一 般 的 二 次 函数 特性 ， 函 
数 有 且 只 有 一 个 极 小 值 点 ， 并 且 极 小 值 点 也 为 抛 点 。 同 时 在 
二 阶 导 数 的 情况 下 ， 便 完全 将 正则 项 转换 为 常数 ， 从 而 能 把 
正则 项 对 极 值 的 影响 消除 ， 再 运用 此 极 小 值 计算 步 长 4。 便 
能 避 开 非 精确 一 维 线性 搜索 的 超 参数 过 多 以 及 一 阶 导 数 或 者 
利用 函数 自身 求解 极 小 值 导 致 的 随机 正则 项 问题 。 

对 拟 牛顿 法 步 长 的 改进 处 理 方式 : 

a) 对 误差 函数 求 关 于 蕊 梯度 并 对 X; 求 关于 入，M; ，3， 
C 梯度 : 


YX = 25X -LR -olX, 7)]Y? (11) 
OX, 认 
V4 = 一 = >d,*M,x(S,xC)? 
‘= 24 1X(SixG) (12) 
OX, 
VAM; = 一 -= Yd sx *(S, xC.)? 
7 An. 2 “(SxC,) (13) 
4 
VS,=— = qd *A *(M,xC)? 
‘Ta 2 + *(M;xC) (14) 
vO = Fa *(M, x5,) (15) 
6C iE 天 


b) 对 误差 函数 求 关 于 Y 梯度 并 对 Y 求 关于 和 ，Mj，2,， 
C) 梯度 : 


VY = 25Y, [RB -0 (XY,)]X (16) 

本 

v4 = Fax(Z, xc) (17) 
694， 全 
oY, 

Vp 2 *(Z,xC,)) (18) 
Y 

V2, = Ta ra (MxC,) (19) 
弘 ;， 你 
07, 

VO=3 -24 “2Y "(MxZ,) (20) 
6C， 息 


c) 将 4d 与 和 4 代入 X;， 将 dj 与 1 代入 Y, ， 
于 4 与 全 二 阶 偏 导 : 


4 A 
xX; ~ Xt hd 2 =Y +hd 
iEK je 


并 入 误差 loss 关 


=07 


Oloss OX, Oloss OF, 

| 21 

记 区 CD 
d) 将 d? 与 好 代入 X, 将 d1 与 妨 代 入 Y, ,并 计算 误差 oss 


关于 M; 与 Mj 二 阶 偏 导 


MIM MM 
DX Xithd ;2 =Y, + 4d; 
iEK JEK 


王 ” 帅 ， 等 : 拟 合 和 天 阵 与 两 阶 融合 选 代 加 速 推 荐 算法 


e) 将 必 与 他 
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Oloss OX, Oloss OF; 
后 OX, OM, 87 OM, 


0? (22) 


入 ,将 di 与 入 代入 Y， 


计 算 误差 loss 


关于 5S; 与 2 二 阶 优 于 


已 


思 了 意 2 FA 
DX Xith di DY =Y,+hd; 
ieKk JE 天 


全 将 必 与 入 


7 Oloss OX, Oloss OF, 天 
ijeK OX, 95S, oY, 6Z 


0 (23) 


入 X,, 将 qd 与 4 代入 Y ， 并 计算 误差 loss 


关于 G 与 5 二 阶 仿 * 


[=A 


Ci Cc 
DX XtAd DY,=Y,+Ad, 
ieK jeKk 


运 | E25 a) 和 


了 Oloss OX, Oloss OY, _ 
0 Wm 


b) 步 求 出 需要 的 代数 式 ， 再 


(24) 


利用 c) ~f) 


的 二 阶 公式 求 出 对 应 的 ,入 ,和 全, 和 和 4 和 和。 取 


二 者 乡 


2.3 两 阶 融合 方式 
经 过 改进 拟 牛 顿 法 的 步 长 计算 方式 之 后 ， 利 用 计算 得 出 
的 步 长 作为 两 阶 融 合 方式 的 判断 标准 。 下 次 迭代 时 ， 
长 计算 数值 不 属于 0 一 1 范围 
如 果 步 长 计算 数值 属于 0 一 1 范围 内 , 则 此 次 欠 代 使 用 拟 牛 顿 
法 。 这 样 的 融合 方式 加 快 了 收敛 速度 。 
1 时 , 算法 拥有 最 好 的 收敛 速度 与 精度 。 由 于 梯 


的 阔 值 为 0 一 
度 下 降 迭 代步 长 是 人 为 设 


二 


名 对 值 最 小 者 为 步 长 为, 和 ,和 。 为 了 控制 拟 牛 顿 


法 可 能 出 现 的 无 法 保证 函数 稳定 下 降 的 问题 。 使 用 控制 4 
的 大 小 范围 ， 一 般 在 0 一 1 内 为 有 效 值 。 


妇 
内 ， 则 此 次 迭代 使 用 梯度 下 降 。 


经 过 实验 验证 ， 步 长 


的 超 参 数 ,不 具有 计算 参考 意义 ， 


姑 此 无 法 使 用 梯度 下 降 的 步 长 作为 两 阶 融合 方式 的 判断 标 
准 。 算 法 符号 表 如 表 1 所 示 , 算法 流程 图 如 图 2 所 示 。 
表 1 算法 符号 表 
Table ] Algorithm symbol table 
拟 合 矩 阵 符号 表 两 阶 融合 符号 表 

均值 (标量 ) 6 随机 正则 项 参数 

b, 户 偏 置 (标量 ) VX, j 户 矩阵 梯度 

b, 入 品 偏 置 (标量 ) V4 户 步 长 4 梯度 
Pp; 用 户 特征 向 量 YA 和 户 均值 梯度 

g; 萄 品 特征 向 量 VS 用 户 特征 梯度 

Mi 用 户 均值 矩阵 VC ] 户 偏 置 梯度 

9 j 户 特征 矩阵 4 j 户 搜索 方向 

CG 户 偏 置 矩 阵 VY 沟 品 矩阵 梯度 

X, 户 和 矩阵 Vv 物品 步 长 4 梯度 
M,; 欧 品 均 值 矩阵 VA 欧 品 均值 梯度 

2 沟 品 特征 矩阵 7 萄 品 特征 梯度 

C; 萄 品 偏 置 矩 阵 VC 萄 品 偏 置 梯度 

Y, 物品 矩阵 a 欧 品 搜索 方向 
3 ”算法 伪 代 码 分 析 

拟 合 矩阵 与 两 阶 融 合 迭 代 加 速 推 荐 算法 基于 拟 合 矩阵 算 
法 与 两 阶 融 合 和 迭代 加 速算 法 两 个 主要 部 分 组 成 。 其 中 ， 两 阶 
融合 迭代 加 速算 法 分 为 四 部 分 ， 目 的 是 对 不 同类 型 的 矩阵 计 


算 不 同 


代表 不 同 的 信息 ， 


的 迭代 步 长 ， 迭 代步 长 分 开 计算 的 原因 是 不 同 的 矩阵 


组 成 的 方式 也 不 同 。 主 要 包括 对 用 广 
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品 和 矩阵 计算 两 阶 融 合 的 迭代 步 长 ， 对 用 户 与 物 时 a 
户 与 物品 特征 矩 R 


算 和 迭代 步 长 ， 对 用 


王 帅 ， 


车 计算 和 迭代 步 长 ;， 


与 物品 偏 置 算 阵 计 算 迭 代步 长 。 以 


示 : 


算法 1 


拟 合 矩阵 算法 伪 代 码 


PreRate¢-0.5* M; +0.5*M,+b,+b, 


for feature<¢—0 to Count do 


Xi Mix(SixC, 


Ye M,x(Z,xC, 


) 
) 


o(Xi,2)) < PreRate + XY, 


End for 


下 是 


初始 化 均值 害 阵 CM 与 MW)、 


与 3 ) 与 偏 置 第 阵 (6 与 6 ) 


特征 矩阵 (3S; 


炎 


矩阵 拟 合计 


得 到 用 户 与 物 


化 矩阵 多 与 


户 与 物品 近 化 


: d¥=—BY 


索 
阶 融 合 步 长 计算 方式 计算 力 ， 
否 属于 冰 值 范围 内 


于 则 继续 拟 牛 


:x =x+s¥ 


下 


海 森 矩 阵 玉 . 


= 


项 法 的 计算 步 
;=g 一 9. 


‘9. 


3. 2 利用 只 与 矿 更 新 近似 海 森 和 矩阵 : B# = 


XT jgXT ek a XT pxX cx 
* /fp st — BY stst BY/s¥ BYs#. 


c+ VY 更 新 用 户 


梯度 下 


降 法 中 大 + 
与 物品 矩阵 。 


1. 初始 化 均 


矩阵 By. 


值 近似 海 森 | 征 近 似 海 森 
项 搜索 | 2. 牛顿 搜索 


1. 初始 化 偏 


矩阵 B.. 
F 顿 搜索 


车、 
与 物品 矩阵 与 其 也 矩阵 的 更 


与 
并 行 化 计算 。 


人 合 和 矩阵 模型 预测 


评分 


对 


2 算法 流程 


图 


Fig.2 Algorithm flow chart 


算法 1 表示 拟 合 和 矩阵 计算 过 程 。 输 入 为 W, ， 
)。 通 过 矩 阵 内 对 应 向 量 元 素 乘积 构成 用 


C,, b, b 


奖 半 


矩阵 对 应 向 量 元 素 ， 稀 


俞 出 用 户 与 物品 


最 终 与 均值 和 偏 置 值 


人 


成 预测 值 。 


算法 2 ”两 阶 融合 迭代 加 速 模型 放 (| 


阶 融合 迭代 步 长 ) 伪 代 码 : 
VXi LVX, 
VY VY 


Si 2 >» Ci， 
户 与 物品 
矩阵 的 向 量 元 素 点 积 


用 户 与 物品 矩阵 两 


: 拟 合 甜 阵 与 两 阶 融合 选 代 加 速 推荐 算法 
阵 计 
用 户 
人 算法 的 信 代 码 


X, — X,+hd, 


¥ ey+hd, 
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or1 VX, YE + VY*Y 


mp or ) 


if (Misdissatisfythecondition)then 


X,<€ X,+VX, 

Vey+vy 

End if 

入 革 加 

算法 2 表示 两 阶 融 合 迭 代 加 速 关 于 用 
长 融合 计算 过 程 。 输 入 为 X, 和 7， 
度 下 降 学 习 率 与 其 自身 梯度 乘积 而 得 。 
其 对 应 的 负 近 似 海 森 矩 阵 的 逆 矩 阵 


得 ) 与 4 和 5 作为 参数 加 入 部 
VX, *X, +VY*7 求解 和 和 4。 对 


为 ， 如 果 不 满足 阔 值 范围 ， 则 用 户 与 物品 矩阵 通过 梯度 下 降 
进行 计算 。 如 果 满 足 则 方 作为 拟 牛 顿 法 的 关于 月 


阵 的 搜索 步 长 因子 。 


算法 3 ”两 阶 融合 


VMi uvM, 
VMi < JVM, 
M; — M,+A dd” 


机 M M 
M, <-M,+A, d; 


矩阵 迭代 步 长 ) 伪 代 码 : 


迁 代 加 速 模型 方 ” 


A ort” VM, *M; +VMM) 


HW -mip (HW 9a) 


M M2 
各 车 尺 


算法 4 两 阶 融 合 迭 代 加 速 模型 (用 户 与 物品 特 


阵 和 迭代 步 长 ) 伪 代 码 : 
VS MVS, 
VZi < V2, 


8 < 一 8 105d5 


多 区 
2 2 +h dd 


Ns or VS, *5, + VZ, 22) 


”二 min( 人 2 ) 


SZ SZ2 
入 全 证 


和 工 。 
应 取 4 和 了 中 绝对 值 最 小 为 


将 d; 和 4d; (4 与 dj1 
与 MX 和 wvVY 的 乘积 而 


通过 二 阶 1 


户 与 物品 矩阵 的 步 
XVX; 和 /AM 通过 求解 梯 


局 导 


户 与 物品 矩 


《用 户 与 物品 均值 


算法 5 两 阶 融合 迭代 加 速 模型 " 


阵 和 迭代 步 长 ) 伪 代 码 : 


VC VOC, 


征 矩 


(用 户 与 物品 偏 置 
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VCi HVC, 的 迭代 效率 。 


阵 ， 


C 。 


C 一 C+Hcd5 


Ci C+hd 

A ord" 二 VC *C, +YC*C) 
C [a 所 

入 min( 27 ) 


有 Li 
入 全 证 


算法 3~5 表示 两 阶 融合 迭代 加 速 关于 用 户 与 物品 均值 矩 
寺 征 矩阵 与 偏 置 矩阵 的 步 长 计算 过 程 。 输 入 为 M 、52、 
VM 、VSZ 、VC 通过 求解 梯度 下 降 学 习 率 与 其 自身 梯度 


乘积 而 得 。 将 d; 和 4d;( d; 和 4; 由 其 对 应 的 负 近 似 海 森 矩阵 的 
道 矩 阵 与 其 梯度 的 乘积 而 得 ) 与 4 和 7 作为 参数 加 入 M 、 


SZ、 


和 4 中 绝对 值 最 小 为 罗 ， 加 "最终 作 为 拟 牛 顿 法 的 关于 用 


户 与 物品 均值 矩阵 ， 特 征 抢 阵 与 偏 置 矩 阵 的 搜索 步 长 因子 。 


C。 通 过 二 阶 偏 导 V*+Y* 求解 对 应 的 如 和 。 对 应 取 
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表 2 FAST 模型 与 其 他 模型 的 时 间 数 据 /min 
Table 2 Time data of FAST and other models /min 


模型 NMF SVD RSVD FAST 
1M 10 15 18 12 
10M 143 216 262 165 
MovieLens-1M 
r r ， r r 
1.18 一 十 一 NMF 有 
一 = 一 SYD 
114F 4 一 全 一 RSYVD | 
一 本 一 FAST 
Wi 站 
\ a 
1.06 上 3 + 一 中 一 二 二 丰 
加 由 
二 1.02 ， 
9 外 
098| A % 
Ww ~ 
0.94 oa 
A a 
EE 一 
09 居 丰 一 吉 一 妆 一 让 = A_A- ] 
和 a 下 
= 
0.86L ， 于 有 | 
0 2 4 10 12 14 16 
神 teration 


不 同 于 用 户 与 物品 矩阵 的 融合 计算 过 程 , 由 于 M、5Z 、C 的 


目标 函数 没有 随机 化 正则 项 ， 因 此 计算 M 、5szZ 、C 的 步 长 
可 以 不 需要 与 梯度 下 降 融 合 。 


4 
4.1 


组 


实验 数据 分 析 


实验 数据 集 
实验 所 用 的 数据 集 是 美国 Minnesota 大 学 GroupLens 小 
开 发 的 MovieLens 站 点 所 提供 的 数据 集 


(https://grouplens.org/datasets/movielens/) 与 电影 租赁 网 址 
Netflix 的 数据 集 。 本 文 共 使 用 三 个 不 同 大 小 的 数据 集 ， 分 别 


6040 个 用 户 对 3900 部 电影 的 100 万 条 评分 的 数据 ; 


71567 个 用 户 对 10681 部 电影 给 出 的 1000 万 条 评分 的 数据 ; 
480189 个 匿名 用 户 对 大 约 17770 部 电影 作 的 大 约 1 亿 次 评分 


的 数据 。 将 实验 数据 集 划分 为 训练 集 和 测试 集 ， 其 中 训练 集 


占 


4.2 评价 标准 


80%， 测 试 集 占 20%。 


本 文采 用 的 推荐 质量 评价 标准 是 平均 绝对 误差 (mean 


absolute error, MAE ) 与 均 方 根 误差 (root mean squared error， 


RMSE )。 公 式 如 下 : MAE= 


RMSE 


2 1) 


四 


Di 一 人 (人 人) 。 


了 


4.3 实验 对 比 


实验 引入 奇异 值 矩阵 分 解 SVD ) 由， 随机 正则 化 的 奇 


异 值 矩阵 分 解 (RSVD ) 中 算 法 ， 非 负 和 珑 阵 分 解 (NMF) BDI 


与 本 文 提出 的 拟 合算 阵 与 两 阶 融 合 迭 代 加 速 (FAST) 进行 均 
方 根 误差 以 及 迭代 效率 的 比较 。 梯 度 下 降 和 欠 代 步 长 参数 选取 


为 
4.3 


比 图 。 从 对 比 图 中 可 以 观察 到 ,， NMF、SVD 和 RSVD 模型 


0.04 
.1 迭代 次 数 与 时 间 对 比 结果 
图 3~5 分 别 是 1M、10M 和 Netflix 数据 集 的 迭代 次 数 对 


使 


梯度 下 降 的 情况 下 需要 几 十 次 才 可 以 收敛 。 而 FAST 模 


型 在 第 8 次 或 第 9 次 迭代 就 可 以 收敛 ， 收 敛 的 曲线 在 数据 不 


其 


扩大 的 情况 下 越 接 近 直 线 。 实 验 表 明 FAST 模型 具有 较 高 


图 3 FAST 与 其 他 模型 在 MovieLens-1M 数据 集中 的 迭代 对 比 


名 


Fig.3 Comparison of FAST and other models in MovieLens-1M 


dataset 


MovieLens-10M 


1.14 2 
一 十 一 NMF 
11 一 让 一 外 VD 
— 和 A 一 RSvD 
1.06 十 、 一 直 一 FAST 
i 
a 站 ] 
4 一 十 一 十 ~ 十 ~ 十 ~ 十 二 二 十 
,08F \ 
094 ~ 
Cr 
Me Me 
0.9 并 ee 
+ 
us Ne-e-a-e-ee 全 全 全 全 个 
0.82 乞 
ee 本 
0.78 上 ~*” 
1 1 1 1 1 
0 2 4 8 10 12 14 16 
Rteration 


图 4 FAST 与 其 他 模型 在 MovieLens-10M 数据 集中 的 迭代 对 比 图 


Fig.4 Comparison of FAST and other models in MovieLens-10M 


dataset 
Netflix 
1.18 一 + 一 NMF 中 
一 此 一 SYD 
1.14 上 -一生 一 RSYD 
一 二 一 FAST 
11F 
NX 
NY 
1.06 上 \ 
全 
wy102 vw 
图 re 
E& 0.98 1 有 
本 tt 
0.94[ \ E hs es 
A NT 
0.9r Wa Wh i 
| 
0.861 A 
0.82 上 ~ 
0 2 4 6 8 10 12 14 16 
州 teration 


Fig.5 Compariso 


4.3.2 实验 RMSE、 
表 3 和 4 分 另 


MAE 结果 对 比 。 从 表 3 逢 
比 NMF，SVD，RSVD 的 ] 


且 随 着 数据 集 的 不 


图 5 FAST 与 其 他 模型 在 Netflix 数据 入 


| 是 1M、 


断 扩大 ， 


匀 方 根 误差 与 习 


中 的 迭代 对 比 图 


n of FAST and other models in Netflix dataset 
MAE 对 比 结 果 


10M，Netflix 数据 集 的 RMSE、 


上 表 4 的 数据 可 以 看 出 ，FAST 相 
F 均 绝对 误差 更 小 。 


均 方 根 误差 与 平均 绝对 误差 减 小 
的 越 明显 ， 也 就 是 预测 效果 越 好 。 
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表 3 FAST 模型 与 其 他 模型 的 RMSE 数据 


Table3 The RMSE data of FAST and other models 
模型 NMF SVD RSVD FAST 
1M 1.054 0.914 0.893 0.856 
10M 0.996 0.872 0.857 0.765 
Netflix 0.941 0.887 0.853 0.821 


表 4 FAST 模型 与 其 他 模型 的 MAE 数据 
‘Table 4 The MAE data of FAST and other models 


模型 NMF SVD RSVD FAST 

1M 0.810 0.723 0.711 0.670 

10M 0.764 0.682 0.661 0.584 

Netflix 0.755 0.665 0.639 0.614 
5 ”结束 语 

个 性 化 作为 推荐 系统 的 本 质 需求 ， 通 过 关注 用 户 与 物品 


的 特征 构造 特定 的 推荐 方式 已 成 为 推荐 系统 的 发 展 趋 势 。 本 
文通 过 构造 用 户 和 矩阵 与 物品 矩阵 ， 使 用 户 与 物品 分 别 形 成 不 
同 的 特点 融合 矩阵 ， 一 定 程度 上 体现 了 推荐 系统 个 性 化 的 方 
式 。 根 据 误差 函数 改进 拟 牛 顿 法 的 步 长 ， 将 梯度 下 降 模 型 与 
拟 牛顿 法 相 融 合 ， 实 现 了 减 小 推荐 误差 和 提高 算法 欠 代 效率 


的 目标 。 
下 一 步 ， 可 以 在 拟 合 矩阵 的 基础 上 融入 更 多 的 个 性 化 因 
子 比如 标签 ， 浏 览 记 录 等 ， 形 成 用 户 与 物品 的 个 性 化 肖像 。 


男 一 方面 ， 从 不 同 的 计算 过 程 将 梯度 下 降 与 拟 咎 顿 法 进行 融 
， 例 如 利用 梯度 下 降 改进 近似 海 森 矩 阵 的 计算 过 程 ， 探 索 

减少 近 丘 似 和 矩阵 的 存储 空间 。 
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